Lightning Weave: Improving the Accuracy-Efficiency Frontier of Reasoning Models through Capability Composition
Lightning Weave：通过能力组合提升推理模型精度-效率前沿
🧭 推理模型 · 能力蒸馏与组合 ★ 深度解读
Massachusetts Institute of Technology · NVIDIA
提出 Lightning Weave，组合独立后训练模型的策略 log-ratio 并稳定离线蒸馏，同时提升推理准确率与 token 效率
📌 工作参考价值（4 点）
- 使用 anchor pair 的 log-ratio 表示能力差异，可迁移到推荐模型蒸馏：从 base 到业务优化模型的策略偏移提取特定能力，避免直接匹配教师分布带来的风格冲突，实现对转化率、多样性等单一目标的精准迁移。
- 多能力加权组合方式可借鉴到生成式推荐/Agent 策略优化：不联合训练冲突目标，而是独立训练不同目标的专家，再在共享状态上组合其 log-ratio 生成单一学生，后续通过权重调节在相关性、多样性、时延等指标间取得可控 Pareto 前沿。
- 离线缓存教师评分 + Tilted-Target DOPD 修正固定点，适合大规模线上蒸馏：让行为策略生成轨迹并一次性缓存多个 anchor 模型打分，训练时只跑学生模型，降低实时服务多教师成本；同时用显式 tilted target 避免离线 KL 估计偏差，稳定收敛。
- 权重扫描获得不同 accuracy-efficiency 档位，可直接用于电商响应质量 vs 成本权衡：按流量价值或场景动态调整组合权重，产出不同档位学生模型或行为模式。